iT邦幫忙

0

DAY7:認識Chat Template

  • 分享至 

  • xImage
  •  

Chat Template(對話模板)用來規範整個對話格式,幫助我們明確告訴模型,哪段是system prompt(系統提示)、哪段是user prompt(使用者問題)、哪段是AI assistant response(回覆)。


在使用大型語言模型時,我們會發現如果沒有這個對話模板,模型常常會搞不清楚誰在說話,進而損害模型的能力,它可能會把自己的回答誤認為輸入的一部分,導致回覆不穩定或亂接話,因此我們要加入Chat Template才能使AI理解現在誰在說話、誰在回覆。


自己設計Chat Template
下面的範例示範如何手動建立一個簡單的 Chat Template。
這樣模型在產生文字時,就會知道哪一段是使用者提問、哪一段是自己回答。
https://ithelp.ithome.com.tw/upload/images/20251015/20169372m2EngEBssG.png


官方的 Chat Template
雖然我們可以自己手動加上Chat Template,但不同模型的預訓練方式不一樣,像Llama、Gemma等模型各自都有官方模板格式。
如果使用錯誤格式,模型可能會看不懂,因此通常使用官方的Chat Template可以得到比較好的效果,我們可以用tokenizer.apply_chat_template來自動套用模型原生支援的模板。
https://ithelp.ithome.com.tw/upload/images/20251015/20169372nIKWPeyMwi.png


圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言